\chapter{Resultados} \label{chap:resultados}

Este capítulo tem por objetivo apresentar os resultados obtidos por meio das metodologias
propostas. Será realizada uma análise detalhada de cada resultado, ressaltando 
se eles corresponderam ou não ao esperado e investigando os motivos dos desvios observados,
assim como outros aspectos considerados relevantes.

A primeira parte se dedica à abordagem por comparação de histogramas e a segunda às
redes neurais. As melhores configurações para ambos os casos serão expostas ao longo do texto.

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Classificação por Histogramas de Cores} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Utilizando o método descrito na metodologia para Classificação por Histograma de Cores, calculou-se
a \textit{F-measure} do resultado da classificação de todas as imagens de teste.
Estes valores são utilizados como medida de desempenho do classificador e são
apresentados a seguir em conjunto com uma análise dos resultados obtidos.

Com a finalidade de se comparar os diversos atributos avaliados, foi adotada a
metodologia explicada a seguir. Computa-se o total de TP's, FP's, TN's e FN's que dizem 
respeito aquele atributo e calcula-se a \textit{F-measure}.

Vale ressaltar que quanto maior o valor da \textit{F-measure}, melhor o resultado da classificação, sendo
valores próximos a 1 indicativos de um grande número de acertos e pequeno número de erros. O oposto
ocorre com valores próximos a zero.

\subsection{Comparação de Tamanhos}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

O gráfico (a) da Figura~\ref{graph:grafico_tamanhos} apresenta, para cada um dos monumentos,
os resultados das \textit{F-measures} para cada um dos tamanhos avaliados. 
O gráfico (b) consolida os resultados dos monumentos de (a), permitindo a comparação do 
desempenho por tamanho (25\%, 50\% e 100\%).

\begin{figure}[H]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_tamanhos}
	\caption{Comparação dos tamanhos por monumentos~(a) e comparação dos tamanhos~(b).}
	\label{graph:grafico_tamanhos}
\end{figure}

Observa-se que a variação no tamanho das imagens praticamente não tem impacto no resultado do método, 
sendo que a diferença entre o maior e menor valores foi cerca de 1,07\%, apenas. 
Este resultado já era esperado uma vez que imagina-se que a proporção entre as ocorrências em
cada balde do histograma se mantenha constante com o redimensionamento das fotos. 

O resultado ligeiramente melhor para as imagens com 25\% do tamanho provavelmente decorre
de distorções causadas pela perda de informação. Ainda assim, como o 
tempo de processamento é menor para imagens menores, 
a redução das fotos aparentemente é a melhor escolha para a comparação por histogramas.

\subsection{Comparação de Espaços de Cores}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

O gráfico (a) da Figura~\ref{graph:grafico_cores} apresenta, para cada um dos monumentos,
os resultados das \textit{F-measures} para cada um dos espaços de cores avaliados. 
O gráfico (b) consolida os resultados dos monumentos de (a), permitindo a comparação do 
desempenho por espaço de cor (RGB e YCbCr).

\begin{figure}[]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_cores}
	\caption{Comparação dos espaços de cores por monumentos~(a) e comparação dos espaços de cores~(b).}
	\label{graph:grafico_cores}
\end{figure}

Observa-se nos dois gráficos uma disparidade de resultados. Pela análise do gráfico (b),
verifica-se uma diferença de aproximadamente 9,12\% entre a utilização dos espaços de cores RGB e YCbCr.

Sabe-se que os planos Cb e Cr contém mais informação cromática em comparação com o plano Y, que carrega
grande parte da luminânica de uma imagem digital. Por outro lado, no espaço de cores RGB a informação
de brilho fica distribuída entre os três planos.
Do ponto de vista do classificador, a luminância contém mais ruído, pois está submetida a mais
variações. Portanto, espera-se que as componentes Cb e Cr apresentem menos variação e que 
o emprego nas mesmas consiga separar melhor o conjunto em classes do que
quando utilizadas as componentes RGB.

Os resultados obtidos sugerem uma confirmação do comportamento esperado, mostrando um desempenho maior
quando utilizado o espaço YCbCr.

%Espera-se que os dados dos planos Cb e Cr sejam relativamente mais estáveis, uma vez
%que carregam informações cromáticas e o Y carrega a luminância, que é mais sucetível a variações e ruídos.
%De outro modo, no espaço de cores RGB, a informação de luminância fica distribuída entre os três planos.
%Assim, ao comparar-se os planos RGB, a informação de ruído, presente em todos os planos, dificulta a separação
%do conjunto em classes, enquanto que comparando-se planos YCbCr entre si

%Os resultados observados para a Catedral destacam-se dos outros e como as médias YCbCr
%para este monumento elevam consideravelmente a média geral do YCbCr, estes dados merecem
%uma análise mais profunda. Para tal, a Figura~\ref{graph:histograma_desdobramento_catedral}
%aponta os resultados das médias dos resultados por método, tamanho e quantidade de votos
%para a Catedral para os dois espaços de cores:

%\begin{figure}[H]
%	\centering
%	\includegraphics[width=0.6\textwidth]{imagens/capitulo4/histograma_desdobramento_catedral}
%	\caption{}
%	\label{graph:histograma_desdobramento_catedral}
%\end{figure}

%Conforme pode ser observado, os resultados são aparentemente consistentes, já que o espaço de cor
%YCbCr dominou o RGB em todos os casos. A explicação mais provável para estas distorções
%pode estar no fato de todas as fotografias terem sido obtidas pelo mesmo dispositivo
%e em condições climáticas semelhantes. Desta maneira, a componente Y pode ter sido submetida
%a pouco ruído e acabado por contribuir para a classificação.

%Os planos Cb e Cr carregam mais informação relevante sobre o conteúdo da imagem, deixando informações de luminância 
%na componente Y. Desta forma, espera-se que eles consigam caracterizar melhor cada imagem, sendo que as informações de 
%iluminação, consideradas aqui ruído, fiquem separadas. Como o método de comparação  é feito compontente a componente,
%esperava-se que a comparação dos planos Cb's das imagens e Cr's das imagens pudessem separar melhor o conjunto 
%em classes distintas.

%Os resultados obtidos sugerem uma confirmação desta suspeita, mostrando um desempenho consideravelmente maior
%quando utilizado o espaço YCbCr.

%pois sabe-se que os planos Cb e Cr do espaço 
%de cores YCbCr carregam mais informações sobre a cena, de modo que conseguiram caracterizar melhor cada
%monumento. Este plano de cores é a escolha para uma melhor solução utilizando este método.

%\subsection{Comparação de quantidade de Votos}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%O primeiro gráfico da Figura~\ref{graph:grafico_votos} apresenta, para cada um dos monumentos,
%os resultados das médias das \textit{F-measures} para cada quantidade de votos considerada na avaliação. 
%O segundo é construído a partir do primeiro, calculando-se a média de todos 
%os monumentos e permitindo a comparação do desempenho por número de votos considerados.

%\begin{figure}[H]
%	\centering
%	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_votos}
%	\caption{}
%	\label{graph:grafico_votos}
%\end{figure}

%Observa-se uma clara diferença entre os resultados obtidos. Utilizando apenas uma componente no sistema
%de votos, obteve-se, na média, um resultado em torno de 90\% melhor do que utilizando as três componentes.

%Conforme explicado na seção~\ref{sub:sistema_votos}, $V_{1}$ >= $V_{2}$ >= $V_{3}$.
%Desta maneira, certamente o número de verdadeiros-positivos são maiores quando são consideradas
%menos componentes para o cálculo do voto. Por outro lado, espera-se que o número de falsos-positivos
%aumente consideravelmente com o emprego de menos componentes para fins de votação. Assim,
%era de se esperar que os valores de \textit{F-measure} se comportassem da maneira oposta da apresentada.

%Este resultado é interessante e sugere uma ineficiência dos atributos de cores para
%a classificação dos monumentos de Brasília, ao menos da maneira como foram utilizados.

%A forma como funciona o sistema de comparação de votos faz com que a quantidade de acertos para 1 voto
%seja, no mínimo igual a quantidade de acertos para 2 e 3 votos, já que, se houveram 2 ou 3 votos, houve
%também pelo o menos 1. Entretanto, esperava-se que com menos votos ocorressem também mais erros,
%de modo a diminuir a eficiência da classificação.

%Este resultado é interessante, sugerindo que o método de classificação proposto não tem um bom desempenho,
%pois esperava-se que, para um mesmo monumento, as componentes de cores fossem suficientemente
%semelhantes para receberem um voto positivo, de modo que o esperava-se que uma maior quantidade de votos levasse a 
%um melhor resultado.

%O resultado obtido mostra que imagens do mesmo monumento não têm compontentes de cores suficientemente
%distintas para se realizar uma boa classificação considerando os objetivos deste trabalho.

\subsection{Comparação de Métodos}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

O gráfico (a) da Figura~\ref{graph:grafico_metodos} apresenta, para cada um dos monumentos,
os resultados das \textit{F-measures} para cada um dos métodos de comparação avaliados. 
O gráfico (b) consolida os resultados dos monumentos de (a), permitindo a comparação do 
desempenho por método (Correlação, Chi-quadrado e Bhattacharyya).

\begin{figure}[H]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_metodos}
	\caption{Comparação dos métodos por monumentos~(a) e comparação dos métodos~(b).}
	\label{graph:grafico_metodos}
\end{figure}

Para o conjunto de testes utilizado, o método Chi-quadrado foi o que apresentou melhor resultado,
quando considerado o desempenho geral.
A análise do gráfico (b) mostra que este método foi cerca de 10,48\% mais eficiente
do que a Correlação, que apresentou o pior resultado.

Em relação ao Bhattachayyra, o desempenho do Chi-quadrado foi apenas 0,92\% melhor, o que
indica uma equivalência dos dois métodos para o conjunto de dados apresentado.

Conforme~\cite{bhattacharyya}, o coeficiente Bhattacharyya se aproxima do Chi-quadrado,
tendo algumas vantagens para determinadas distribuições e sendo normalmente uma melhor
medida. No entanto, existem condições que podem levar o Chi-quadrado a resultados mais precisos, 
como ocorreu para o conjunto de teste em questão.

%Outra possível interpretação dos resultados obtidos pode ser que a quantidade de amostras não foi 
%representativa o suficiente para ressaltar a vantagem do Bhattacharyya sobre o Chi-quadrado, 
%sendo esta um conclusão plausível também.

%O baixo desempenho do Bhattachayyra se mostrou ainda mais surpreendente na medida em que, 
%conforme~\cite{bhattacharyya},  este deveria ter se mostrado ao menos melhor que o chi-quadrado.

%Mais uma vez, os baixos valores para as \textit{F-measures} indicam um baixo desempenho.

%Sabe-se que o Bhattachayyra é um melhor método para a comparação de histogramas, o que indica
%que a quantidade de amostras não foi representativa o suficiente para ressaltar este resultado.



\subsection{Melhor Configuração Obtida}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Os melhores resultados obtidos em cada item em relação à \textit{F-measure} foram:

\begin{itemize}
    \item 25\% do tamanho original da imagem (\textit{F-measure} = 0,2333);
    \item Espaço de cores YCbCr (\textit{F-measure} = 0,2413);
%    \item \textbf{1 voto} necessário para se considerar os monumentos pertencentes à mesma classe (\textit{F-measure} média = 0,2346);
    \item Chi-quadrado como método de comparação de histogramas (\textit{F-measure} = 0,2394).
\end{itemize}

O baixo desempenho deste sistema de classificação sugere que a semelhança de cores dos espaços
observados dificulta a separação dos ambientes em classes, se considerado apenas o atributo cor como 
critério de classificação. 

O fato de a maioria dos monumentos fot ografados ser branco com jardins na entrada e 
céu aberto ao fundo, pode ter causado dificultades. Não se pode deixar de mencionar,
entretanto, que o fato de todas as fotos terem sido obtidas de um mesmo dispositivo e 
em condições climáticas semelhantes favorece o método.

Por fim utilizando-se os valores médios de TP, FP e FN para cada um dos melhores 
atributos, pode-se calcular a \textit{F-measure} da melhor configuração:

\begin{equation}
    F\textrm{-}measure = 0,2500
\end{equation}

Além disso, o respectivo valor para a acurácia da melhor configuração indica
que o método acerta apenas metade das vezes:

\begin{equation}
    \textit{Acurácia} = 50,00\%
\end{equation}

A diferença entre os resultados da acurácia e da \textit{F-measure} decorre do elevado 
número de acertos referentes
aos verdadeiros-negativos, indicando que o sistema de classificação tem um desempenho melhor
ao classificar elementos como não pertencente à classe do que em categorizá-los como
pertencentes à classe. 

%A medida \textit{F-measure}, por 
%outro lado, realiza um balanceamento melhor entre verdadeiro-positivos e verdadeiro-negativos, 
%sendo esta uma característica desejável para o sistema e a principal razão para a escolha
%desta métrica como medida de desempenho.

%Os valores altos da acurácia decorrem do elevado número de acertos no que diz respeito
%aos verdadeiros-negativos, que não são captados pela \textit{F-measure} (a análise
%da Figura~\ref{fig:histogramas_limiar} pode facilitar esta intuição). Esta possibilidade
%de indução ao erro foi a principal razão para a não utilização dessa métrica para
%a avaliação da metodologia de classificação por comparação de histogramas. 

%Na abordagem por redes neurais a seguir, entretanto, não houveram discrepâncias 
%significativas entre \textit{F-measure} e acurácia. Como a possibilidade de indução
%ao erro é extremamente reduzida neste outro caso, ambas as medidas de desempenho serão
%apresentadas.


%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{Classificação por Redes Neurais} %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Os próximos tópicos se dedicam a apresentar os resultados obtidos por meio do 
emprego de diferentes vetores de características na elaboração das redes neurais
avaliadas. Do mesmo modo como foi feito na comparação de histogramas, a análise
de desempenho será feita computando-se o total de TP's, FP's, TN's e FN's que dizem
respeito a cada vetor de características e calculando-se a \textit{F-measure} correspondente.
Os valores obtidos são apresentados graficamente.


\subsection{Configurações Com Apenas Médias de Componentes}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Inicialmente, avaliou-se os resultados das classificações das configurações A e B,
que utilizam apenas componentes de cores como atributos para as redes. Os 
gráficos da Figura~\ref{graph:grafico_projection_cores} apresentam os resultados obtidos
para a \textit{F-measure} e a acurácia para estas configurações.

\begin{figure}[H]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_projection_cores}
	\caption{\textit{F-measure} (a) e acurácia (b) das configurações meramente cromáticas.}
	\label{graph:grafico_projection_cores}
\end{figure}

Os resultado da configuração B foram 22,6\% melhores
do que os de A no que diz respeito à \textit{F-measure} e 8,6\% melhores no que tange 
a acurácia. O baixo desempenho de ambas as configurações  (A e B ficaram, respectivamente, em 0.5070 e 0.6218
para a \textit{F-measure}) pode ser explicado pela pouca informação fornecida como
insumo para a rede. Isto indica que a simples média dos valores de cada componente de cor é
insuficiente para distinguir precisamente cada monumento e realizar uma classificação satisfatória.
A configuração B se mostrou melhor do que a A porque trouxe um acréscimo de informação
para a rede, impactando de forma positiva nos resultados.

A grande diferença ente as \textit{F-measures} e as acurácias indicam que a acurácia foi alta
não devido aos verdadeiros-positivos, mas devido aos verdadeiros-negativos. De fato a média
para os verdadeiros-positivos ficou em 6,08 (60,8\%, pois o máximo é 10), enquanto
que a média para os verdadeiros-negativos foi 44,33 (88,7\%, pois o máximo é 50).
Estes valores podem ser extraídos das Tabelas~\ref{tab:cbcr} e~\ref{tab:ycbcr}.


\subsection{Configurações que Utilizam Projeções}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

A próxima análise, das configurações C, D e E, explicita os resultados das 
configurações que possuem projeções como parte do vetor de atributos, conforme os 
gráficos da Figura~\ref{graph:grafico_projection_blocos_atributos}.

\begin{figure}[]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_projection_blocos_atributos}
	\caption{\textit{F-measure} (a) e acurácia (b) das configurações que utilizam projeções.}
	\label{graph:grafico_projection_blocos_atributos}
\end{figure}

Os resultados das configurações C, D e E indicam que as projeções foram capazes de 
capturar informações relevantes das imagens, obtendo resultados em torno de 0,9 para a
\textit{F-measure} e uma média acima dos 96\% para a acurácia.

Observa-se que as configurações apresentaram resultados praticamente equivalentes.
Isto sugere que a informação de média das componentes dos espaços de cores
teve pouco influência nos resultados, sendo que as redes que não se utilizaram desses
dados possuíram resultados ligeiramente melhores.

Os gráficos da Figura~\ref{graph:grafico_projection_blocos} permitem uma avaliação do número de 
projeções utilizadas. Cada barra constitui uma média dos resultados para as configurações
C, D e E por quantidade de projeções verticais e horizontais empregadas.

\begin{figure}[H]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_projection_blocos}
	\caption{\textit{F-measure} (a) e acurácia (b) por número de projeções utilizadas.}
	\label{graph:grafico_projection_blocos}
\end{figure}

A forma do gráfico sugere que o desempenho tende a melhorar na medida em
que o número de projeções se aproxima de 20 e a piorar quando se distancia deste valor.
Os valores altos das métricas e o comportamento consistente da \textit{F-measure} em relação 
à acurácia indica uma boa qualidade da classificação.

Os gráficos da Figura~\ref{graph:grafico_projection_blocos_distrinchados} relacionam os 
gráficos das Figuras~\ref{graph:grafico_projection_blocos} e~\ref{graph:grafico_projection_blocos_atributos}
apresentadas anteriormente, estratificando os resultados das configurações C, D e E por número 
de projeções utilizadas.

\begin{figure}[]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_projection_blocos_distrinchados}
	\caption{\textit{F-measure} (a) e acurácia (b) das configurações C, D e E por número de projeções utilizadas.}
	\label{graph:grafico_projection_blocos_distrinchados}
\end{figure}

Observa-se que o desempenho obtido com a configuração C foi melhor, em comparação com D e E, para números menores de
projeções e que o emprego das componentes cromáticas e de luminância passa a ser mais relevante
com o aumento do número de projeções. Nas três configurações, entretanto, as evidências
indicam que o desempenho tende a diminuir quando o número de projeções se distancia de 20.
Além disso, percebe-se que a rede, de maneira geral, foi capaz de obter melhores classificações
à partir das informações de forma do que das informações de cor.


\subsection{Resumo das Configurações}
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

Por fim, os gráficos da Figura~\ref{graph:grafico_projection_atributos} resume todos os resultados 
obtidos apresentando a média geral obtida para cada configuração avaliada.

\begin{figure}[H]
	\centering
	\includegraphics[width=1.0\textwidth]{imagens/capitulo4/grafico_projection_atributos}
	\caption{\textit{F-measure} (a) e acurácia (b) de cada configuração.}
	\label{graph:grafico_projection_atributos}
\end{figure}

Os dados mostram que os resultados foram substancialmente melhores para as configurações C, D e E.
Assim, aparentemente a rede conseguiu captar a forma da imagem através das projeções e 
atingir um desempenho satisfatório utilizando-se deste atributo.

Por outro lado, as configurações A e B, que empregam apenas a média das componentes de cores, 
se mostraram insuficientes para classificar adequadamente os monumentos de Brasília.

Observa-se também que a adição de informações cromáticas aos atributos que captam a
forma (projeções) influenciou de maneira quase insignificante os resultados obtidos,
sendo que o emprego da componente de luminância apresentou desempenho ligeiramente menor,
ao contrário do que ocorreu na abordagem por comparação de histogramas.
